Rate versus synchrony code for human action recognition

We propose a bio-inspired feedforward spiking network modeling two brain areas dedicated to motion (V1 and MT), and we show how the spiking output can be exploited in a computer vision application: action recognition. In order to analyze spike trains, we consider two characteristics of the neural code: mean firing rate of each neuron and synchrony between neurons. Interestingly, we show that they carry some relevant information for the action recognition application. We compare our results to Jhuang et al. (2007) on the Weizmann database. As a conclusion, we are convinced that spiking networks represent a powerful alternative framework for real vision applications that will benefit from recent advances in computational neuroscience. Key-words: Spiking networks, bio-inspired model, motion analysis, V1, MT, human action recognition ∗ [email protected] † [email protected] ‡ [email protected] § [email protected] in ria -0 03 26 58 8, v er si on 1 3 O ct 2 00 8 Taux de décharge ou synchronisation pour la reconnaissance de mouvements humains Résumé : Nous proposons un réseau de neurones impulsionnels bio-inspiré qui modélise deux aires corticales dédiées au mouvement (V1 et MT), et nous montrons comment la sortie impulsionnelle peut être exploitée dans une application de vision par ordinateur: la reconnaissance d’action. Pour analyser les trains d’impulsions, nous considérons deux caractéristiques du code neural: le taux de décharge de chaque neurone et la synchronie entre les neurones. Nous montrons que chacun des deux codes véhicule une information pertinente pouvant être utilisée pour la reconnaissance. Pour cela, nous comparons nos résultats avec Jhuang et al. (2007) sur la base de séquence d’images Weizmann. En conclusion, nous sommes convaincus que les réseaux de neurones impulsionnels représentent une méthodologie alternative efficace pour les application de vision artificielle, qui bénéficiera des avancées récentes dans le domaine des neurosciences computationelles. Mots-clés : Réseaux de neurones à impulsions, modèles bio-inspirés, analyse de mouvement, V1, MT, reconnaissance de mouvement humain in ria -0 03 26 58 8, v er si on 1 3 O ct 2 00 8 Rate versus synchrony code for human action recognition 3